Xác suất và Thống kê: Khoa học của Sự bất định: Định nghĩa Tối ưu trong suy luận Thống kê

Trong vùng đất rộng lớn của dữ liệu thống kê, chúng ta là những thợ săn đang tìm kiếm chân lý—tham số thật $\psi(\theta)$. Nhưng làm thế nào để quyết định mũi tên nào (ước lượng) là tốt nhất? Tối ưu không phải là một cảm giác mơ hồ; đó là nghệ thuật toán học nhằm tối thiểu hóa tổn thất. Để tìm ra ước lượng 'tốt nhất', chúng ta hướng đến Sai số Bình phương Trung bình (MSE), vốn phân tích tinh tế thành sự căng thẳng giữa hai lực lượng cơ bản: Phương sai và Sai lệch hệ thống.

Định nghĩa Chuẩn mực Vàng: MSE

Để đo lường mức độ sai lệch giữa dự đoán $T$ của chúng ta và thực tế $\psi(\theta)$, chúng ta định nghĩa Sai số Bình phương Trung bình (Định nghĩa 6.3.1):

$$MSE_\theta(T) = E_\theta((T - \psi(\theta))^2)$$

Đây là khoảng cách bình phương trung bình giữa ước lượng của chúng ta và mục tiêu. Một ước lượng hoàn hảo sẽ có MSE bằng không, nhưng trong thế giới nhiễu ngẫu nhiên, chúng ta cố gắng tối thiểu hóa nó.

Định lý 8.1.1: Kiến trúc của Sai số

Tại sao một ước lượng lại thất bại? Định lý 8.1.1 cung cấp bản thiết kế. Nếu $T$ có phương sai bậc hai hữu hạn, sai số so với hằng số $c$ bất kỳ được cho bởi:

$E((T - c)^2) = \text{Var}(T) + (E(T) - c)^2$

Công thức này tiết lộ rằng tổng sai số bình phương được tối thiểu hóa chỉ khi khi chúng ta chọn $c = E(T)$. Trong bối cảnh suy luận, chúng ta đặt $c = \psi(\theta)$, dẫn đến phân tích nổi tiếng:

MSE = Phương sai + Sai lệch hệ thống$^2$

Sự đánh đổi giữa Độ chính xác và Độ tin cậy

Hãy tưởng tượng hai chiếc cân trong phòng kiểm soát chất lượng:

Người thợ săn Chính xác: Nó luôn cho cùng một trọng lượng mỗi lần (phương sai thấp), nhưng bị sai lệch 2 gam (sai lệch hệ thống cao).
Người thầy Khôn ngoan Bất ổn: Nó đúng về trung bình (sai lệch hệ thống bằng 0), nhưng dao động mạnh giữa các lần đo (phương sai cao).

Định lý 8.1.1 cho phép chúng ta tính toán chính xác chiếc cân nào cung cấp sai số tổng thể thấp hơn. Thường thì chúng ta sẵn sàng chấp nhận một lượng sai lệch hệ thống nhỏ nếu điều đó làm giảm đáng kể nhiễu (phương sai).

Ví dụ 8.1.1: Tính đầy đủ và Thông tin

Tối ưu liên quan đến Thông tin. Hãy xem xét không gian mẫu $S = \{1, 2, 3, 4\}$. Nếu các kết quả 2, 3 và 4 có khả năng xảy ra như nhau dưới mọi tham số khả dĩ, chúng mang theo xác suất giống nhau. Chúng ta có thể định nghĩa một thống kê đầy đủ $U$ nhóm các kết quả này lại với nhau mà không mất đi khả năng suy luận tối ưu. Như minh họa trong mô phỏng, nếu $L(\cdot|2) = L(\cdot|3) = L(\cdot|4)$, một ước lượng tối ưu coi chúng như một sự kiện thông tin duy nhất.

📌 Nguyên tắc Cốt lõi

Một ước lượng là tối ưu khi nó tối thiểu hóa tổn thất kỳ vọng. Với tổn thất bình phương, điều này có nghĩa là tìm điểm mà tổng của Phương sai và Sai lệch hệ thống² đạt cực tiểu tuyệt đối.

CÂU HỎI 1

Giả sử rằng (x₁, ..., xₙ) là một mẫu từ phân phối N(μ, σ₀²), trong đó μ chưa biết và σ₀² đã biết. Xác định ước lượng UMVU của moment bậc hai μ² + σ₀².

T = x̄² + σ₀²(1 - 1/n)

T = x̄² + σ₀²

T = x̄² - σ₀²/n

T = Σxᵢ² / n

CÂU HỎI 2

Theo Định lý 8.1.1, giá trị nào của 'c' làm giảm biểu thức E((T - c)²) xuống mức thấp nhất?

c = ψ(θ)

$c = E(T)$

$c = Var(T)$

$c = 0$

CÂU HỎI 3

Trong bối cảnh Sai số Bình phương Trung bình, Bias(T) được định nghĩa như thế nào?

E(T) - ψ(θ)

$Var(T) - E(T)$

ψ(θ) / E(T)

E(T²) - [E(T)]²

CÂU HỎI 4

Trong Ví dụ 8.1.1, tại sao U(s) là một thống kê đầy đủ khi U(2)=U(3)=U(4)=1?

Vì các xác suất khả dĩ L(θ|2), L(θ|3), và L(θ|4) là giống nhau đối với mọi θ.

Vì các xác suất cộng lại bằng 1.

Vì s=1 có xác suất cao nhất.

Vì không gian mẫu là hữu hạn.

CÂU HỎI 5

Nếu một ước lượng là không chệch, MSE của nó bằng:

Phương sai của nó

Bình phương Sai lệch hệ thống của nó

Không

Giá trị tham số thực sự

Thử thách: Quy tắc Ra quyết định Tối ưu

Tối ưu Bayesian so với Tối ưu Tần suất

Hãy xem xét tình huống mà chúng ta muốn xác định ước lượng theo quy tắc Bayes của tham số $\theta$ khi sử dụng Sai số Bình phương Kỳ vọng là thước đo hiệu suất của chúng ta. Điều này nối liền khoảng cách giữa ước lượng hoàn toàn không chệch và lý thuyết ra quyết định.

Câu 1

Xác định dạng tổng quát của ước lượng theo quy tắc Bayes $T(s)$ dưới tổn thất bình phương. Giải thích vì sao thống kê cụ thể này được chọn.

Giải pháp:
Dưới tổn thất bình phương $L(\theta, a) = (\theta - a)^2$, quy tắc Bayes $T(s)$ là ước lượng tối thiểu hóa tổn thất kỳ vọng hậu nghiệm: $E[(\theta - a)^2 | s]$.

Theo Định lý 8.1.1, ta biết rằng với bất kỳ biến ngẫu nhiên nào, giá trị làm giảm sai lệch bình phương kỳ vọng xuống mức thấp nhất chính là trung bình. Do đó, trong phân bố hậu nghiệm, lựa chọn tối ưu là Trung bình Hậu nghiệm:

$T(s) = E[\theta | s]$

Ước lượng này là 'tối ưu' vì nó sử dụng cả thông tin tiên nghiệm và dữ liệu quan sát được để tập trung dự đoán vào điểm cân bằng của mật độ hậu nghiệm.

Câu 2

Nhiệm vụ hỗ trợ: Trong mô hình chuẩn $N(\mu, \sigma_0^2)$ với phương sai đã biết, chúng tôi đã suy ra ước lượng UMVU cho $\mu^2 + \sigma_0^2$ là $T = \bar{x}^2 + \sigma_0^2(1 - 1/n)$. Nếu chúng ta chỉ dùng $\bar{x}^2$ thôi, sai lệch hệ thống sẽ là bao nhiêu?

Giải pháp:
Chúng ta biết $E[\bar{x}^2] = \mu^2 + \sigma_0^2/n$.
Tham số mục tiêu là $\psi(\theta) = \mu^2 + \sigma_0^2$.

$Bias = E[\bar{x}^2] - (\mu^2 + \sigma_0^2) = (\mu^2 + \sigma_0^2/n) - (\mu^2 + \sigma_0^2) = \sigma_0^2/n - \sigma_0^2 = \sigma_0^2(\frac{1}{n} - 1)$.

Điều này minh họa lý do tại sao UMVU đòi hỏi phải có hạng điều chỉnh để dịch chuyển kỳ vọng trở lại mục tiêu thực sự.